缓解“AI焦虑症”的解方有哪些？

为了缓解“AI焦虑”，各界苦寻新技术来突破算力瓶颈，包括存算一体、稀疏化计算等，都是回应当前“AI焦虑症”的热门解方。

近期稀疏化AI算法的讨论度十分热络，除了新创公司Neural Magic提出新稀疏化算法来强化深度学习模型效率，日前在全球AI评测的MLPerf Inference v2.1榜单中，来自深圳AI新创公司墨芯的S30计算卡又以95784 FPS的单卡算力获得ResNet-50模型算力全球第一。

何为AI 稀疏化？就很像是玩叠叠乐，游戏玩家将积木块堆叠成一座积木塔后，在轮流取出一块积木的过程中，要防止让积木塔倒塌。研究AI稀疏化技术的过程就像是在玩数字版的叠叠乐，尽可能从神经网络中抽出多余参数，但又要注意着不破坏 AI 的超高精度，减少深度学习所需的矩阵乘法堆，进而缩短取得准确结果的时间。

更具体解释，稀疏化的本质是在神经网络计算中，每层的神经元只与下一层的一小部分神经元有关联，并且对每张输入图像，激活的神经元只占所有神经元的一小部分。在数学上的表达，就是权重与特征激活矩阵中大部分的元素都是0，只有一小部分非0元素参与计算。

很多人会问，建立深度学习模型难道只能用昂贵的GPU服务器?   稀疏化算法提供另一种途径，通过在原有AI计算的大量矩阵运算中将无效元素剔除，消减神经网络模型冗余来提升算力。除了新创公司的参与，目前已有许多全球科技巨头进入稀疏化算法领域，包括Google、OpenAI、Meta。

去年Google曾提出在不影响AI推理模型的准确性之下，利用AI的稀疏性来剔除部分网络权重，将AI模型的速度提升两倍，且模型大小可以大幅减少。

墨芯身为国内引领稀疏化算法的新创公司也提出看法：“要实现稀疏化技术，现有的硬件必须要能实现高倍率稀疏化，并且能支持大规模并行计算，但CPU和GPU都不是理想的硬件，应该要从算法和软件出发来设计出相应的硬件和架构，实现软硬协同。”

同时，软硬协更是AI计算的重要趋势之一。因此，不同于业界多数公司是侧重硬件或是软件算法，墨芯采用的软硬协同设计可以将算力提高1～2个数量级。 ”

在这次的国际权威AI性能基准评测MLPerf中，国内有不少AI新创公司如壁仞、墨芯首次参加，分别携带自己最强的产品登上MLPerf舞台与英伟达、高通等国际AI芯片企业同台竞技，且在评测中的好成绩也增添了许多话题性。

在单卡算力上，墨芯的S30计算卡以95784 FPS的单卡算力夺得ResNet-50模型算力全球第一，而ResNet-50也是数据中心最常使用的主流模型。墨芯的S30是使用台积电12nm工艺，超越英伟达使用的4nm工艺的H100产品，很多人会解读为这次是12nm工艺战胜4nm工艺的实证。

不过，由于MLPerf推理榜单分为Closed（固定任务）和Open（开放优化）两个赛道，固定任务看重参测厂商的硬件系统和软件优化的能力，开放优化以参测厂商的AI技术创新力为主。很多人认为这次墨芯的评测是open类，在特定场景中进行稀疏部署相对容易凸显优势。

对于选择open赛道做评测的质疑，墨芯表示，这是墨芯第一次参赛，也是唯一一个做高倍率稀疏计算的参赛者，而做高倍率稀疏在此次必须去open赛道。

根据MLCommons官网信息，MLPerf为了鼓励软件和硬件创新，有两个分区，在实现结果时有不同程度的灵活性。封闭任务旨在对硬件平台或软件框架进行标准一致的比较，要求使用与参考模型相同的模型。开放任务旨在促进创新，允许使用不同的模型或重新训练。

简单来说，固定任务更关注硬件能力，而开放任务更关注创新的可能性，即软件和硬件融合的能力。

值得注意的是，如果开放任务的参赛者使用了不同的模型和数据集，需要在提交的结果中标示出来，由此可以提供开放任务和固定任务的比较维度。

从MLCommons公布的结果来看，墨芯采用和closed赛道一样的模型和数据集。再者，closed赛道是个纯硬件的比拼，对于AI加速来说，软硬协同本就是大势，软硬件结合是很具意义的。”

公开资料表明，英伟达目前也开始支持稀疏操作，只是还没支持高倍率。再者，英伟达的做法是结合自身特点把稀疏化技术加入，但墨芯出发点不一样，创业公司要找一个颠覆性角度，必须把稀疏化计算做到极致，并引领方向吸引生态合作伙伴都能朝这个领域投入资源加大发展，让稀疏化做AI 推理和AI训练成为主流。

在专利布局的积累上，墨芯指出，公司目前已经积累30多项核心专利，在专利战略上持续付出巨大努力，一边进行产品研发，一边积累专利，将算法、软件和硬件一体化。而对于专利战略，墨芯认为保护专利有利于创新，更是商业竞争力的体现，但不会是封闭态度。

对于稀疏化技术眼前遇到的最大的挑战？墨芯创始人兼CEO王维对《问芯Voice》指出，AI稀疏化趋势笃定，但行业创新速度是一大挑战。回溯到15年前特斯拉在谈电动车时，很多传统车厂都认为是个笑话，但现在车厂谈的都是该如何加快布局转型，以实现交通领域百年的大颠覆。对于稀疏化技术，墨芯也所正在加速，引领这个行业持续前进。